好吧, 我会的
我想我们是时候开始练习这些技巧了,
而不是只谈理论, 因为我知道现在一切看起来都超级复杂｡
你认为要成为一名机器学习专家, 你必须有博士学位, 你必须在数学和统计学方面非常非常聪明｡
但事实往往并非如此｡
所以在这个视频中, 我想向大家展示机器学习或数据科学的真正含义｡
所以在这本机器学习入门书中, 我们来谈谈机器学习专家是做什么的｡
一个人做的第一件事通常是进口｡
的数据｡
也就是说, 我们有一个CSV文件, 我们要导入这些数据, 我们知道如何用Python来做这件事, 对吧？
我们导入一个CSV数据文件, 以便可以在程序中使用它｡
别担心, 这些步骤实际上是我们在做即将到来的项目时要向你展示的｡
所以第一件事就是导入数据｡
接下来, 我们该怎么做？
好吧, 我们清理数据｡
也就是说, 在理想的世界里, 我们拥有完美的数据｡
CSV文件的所有列和行都被填充, 一切都很完美｡
但事实往往并非如此｡
有时候会丢失标签, 有时候会丢失单元格或数据, 有时候会出现无法使用的数据, 这些数据非常非常糟糕｡
因此, 我们理想地清理数据, 这样当我们以后使用它时, 它就不会给予我们带来任何错误或做出糟糕的预测｡
现在, 第三个
机器学习专家是做什么的？
好吧, 我们把数据分开｡
这是一个有趣的例子｡
我们通常将数据分成我们称之为训练集的部分｡
和测试集｡
这是什么意思呢？
好吧, 分割数据仅仅意味着做决定｡
比如说, 我们有100行Excel, 我们决定这80行将作为我们的训练集,
而我们给予机器学习｡
最后的20行是测试集因为我们要告诉机器它得到的答案是对还是错｡
因此, 我们需要一种方法, 让我们用预先存在的数据来测试我们的模型是好是坏｡
同样, 这也是我们将要探讨的问题,
但通常你会把你的数据, 你的Excel表格分成一个训练集, 我们用它作为输入, 然后是测试集, 我们用它来测试机器学习功能给我们的输出｡
这很容易做到｡
我们只是决定, 嘿, 80%的数据将是训练集, 20%是测试集, 直到现在｡
这三件事都很简单, 对吧？
正如我们将看到的, 它们非常简单｡
接下来我们创建一个模型｡
好吧, 我会的
这个听起来真的很难, 对吧？
我们刚刚从拆分数据, 突然间我们创建了这个函数, 这个我们的程序创建的模型｡
但有趣的是, 当你创建一个模型的时候, 你最有可能做的就是导入一个算法｡
你不会自己从头开始写算法｡
通常你会用到像Psych Learn这样的库, 我们会用它来做一个简单的导入,
然后决定你要用什么算法, 比如决策树或者K近邻｡
我们将在接下来的练习中看到如何做到这一点｡
所以这真的很好｡
有人已经为我们建立了一个算法, 它可以根据我们的训练集创建模型｡
一个流行的笑话是, 当人们想到机器学习专家时, 他们会想到人们所做的所有这些数学方程｡
但大多数时候, 人们只是简单地从一个库中导入一个算法｡
就这样, 一句俏皮话｡
接下来, 你觉得我们该怎么做？
好吧, 我们检查输出, 对吧？
我们创建模型｡
这就是功能｡
我们有输入, 也就是训练集, 然后我们用测试集检查这个模型的输出｡
测试集, 我们会说, 嘿, 输出是否与我们预期的相符？
那么, 一旦我们检查了输出, 我们该怎么做呢？
好吧, 我们改进｡
所以很可能第一次, 它不会完全正确｡
因此, 基于测试集, 我们说, 嘿, 我们可能可以改进一些东西｡
所以作为机器学习专家, 你可能会给予它额外的输入｡
这可能是Excel文件中的一个额外列｡
或者, 我们可能希望更改您用于创建此模型的模型或算法｡
就这样了｡
这是你要做的六个步骤, 你只要重复这些步骤｡
现在我们将回到这些, 我将在资源中链接到这些内容, 以便您始终能够记住这些内容｡
但现在, 你只学到了一些非常非常基本的东西｡
你可以在这里看到Facebook｡
这差不多就是他们运行机器学习管道的方式｡
这张图现在应该可以解释我们之前讲的六个步骤了｡
我们定义他们的目标｡
也就是说, 我们想要完成什么？
我们收集数据｡
我们解析数据｡
也就是说, 我们清理它｡
我们将其分为训练数据和测试数据｡
然后, 我们创建模型, 实验不同的算法,
最后测试数据, 看看基于测试数据的准确性如何｡
然后我们就回去尝试不同的东西, 直到我们的模型或功能与我们定义的目标一致｡
很酷吧？
您只需了解Facebook的机器学习结构是如何工作的｡
在结束这段视频之前, 我想问你一个问题｡
你认为整个过程中最难的部分是什么？
我说得好像很简单｡
好吧, 我知道了
你想想看
准备好了答案｡
最难的部分实际上是获取数据, 因为我们拥有的数据越多, 效果就越好, 我们拥有的输入越多,
我们可以拥有的训练集就越多, 这样我们就可以改进模型｡
是的, 我们可以决定使用什么算法来创建模型, 在训练集期间使用什么输入｡
但我们拥有的数据越多, 作为机器学习专家, 我们的选择就越多｡
要收集好的数据或我们称之为数据集是非常坚韧的｡
像谷歌和Facebook这样的公司真的非常非常有价值, 因为它们是唯一能收集这么多数据的公司｡
这就是为什么机器学习是由这些拥有大量数据集的公司开创的｡
因为你和我根本没有足够的数据来真正让机器学习有价值｡
大多数公司实际上并不需要机器学习, 甚至可以实施好的机器学习, 因为他们没有足够的数据｡
你需要像亚马逊这样的大公司来使用机器学习, 因为他们是唯一能够访问这些数据的公司｡
所以它们才如此珍贵｡
他们可以共享模型｡
他们不在乎, 但他们通常会保持数据的私密性, 因为这会给他们带来竞争优势｡
好吧, 我会的
现在我们知道了机器学习的步骤｡
接下来是学习我们可以使用什么工具来完成这些步骤, 这样我们就可以最终开始学习并构建我们自己的机器学习模型｡
下次见｡
再见｡